“hive”专利关键词查询_检索下载_查询列表_检索列表_行业专利分布_钻瓜专利网

钻瓜专利网为您找到相关结果704个，建议您升级VIP下载更多相关专利

[发明专利]基于Hive的数据获取方法、装置及存储介质-CN201911323261.6在审
发明人：潘永刚;陈洋;雷芬 -专利权人：广州品唯软件有限公司
申请日： 2019-12-19 - 公布日： 2020-05-08 - 主分类号： G06F16/242 文献下载
摘要：本发明公开了一种基于Hive的数据获取方法，包括以下步骤：识别Hive程序中的Hive查询语句；根据所述Hive查询语句对应的要求从线上获取数据，生成Hive表；将所述Hive表存储至本地数据库。本发明还公开了一种基于Hive的数据获取装置以及计算机可读存储介质。本发明提高了Hive数据的获取效率。
基于 hive 数据获取方法装置存储介质

[发明专利]Hive增量数据同步方法、装置、计算机设备和存储介质-CN201911045304.9在审
发明人：薛星海 -专利权人：北京国双科技有限公司
申请日： 2019-10-30 - 公布日： 2021-05-04 - 主分类号： G06F16/27 文献下载
摘要：本申请涉及一种上述Hive增量数据同步方法、装置、计算机设备与存储介质，其中，方法包括：确定与Hive对应的Hbase；获取Hive到Hbase的关联表；通过所述Hbase中API将增量数据写入Hbase，以更新Hbase中数据，根据关联表以及更新后的Hbase，同步Hive增量数据。整个过程中，借助Hbase来完成增量数据的录入，并基于Hive到Hbase的关联表，实现增量数据同步至Hive，避免直接在Hive中操作受限，基于Hbase和Hive关联映射，高效实现Hive中增量数据同步
hive 增量数据同步方法装置计算机设备存储介质

[发明专利]一种Hive表修复方法、装置、设备及计算机可读存储介质-CN201810065153.2有效
发明人：赵长虹 -专利权人：海尔优家智能科技（北京）有限公司
申请日： 2018-01-23 - 公布日： 2022-05-03 - 主分类号： G06F16/22 文献下载
摘要：本发明提出了一种Hive表修复方法、装置、设备及计算机可读存储介质，其中，方法包括：在Hive的元数据库中确定Hive表的分区字段信息；在预设的分布式缓存预存的所有Hive表的分区目录信息中，确定未建立分区的Hive表对应的分区目录信息；基于分区字段信息，以及未建立分区的Hive表对应的分区目录信息，对未建立分区的Hive表创建分区。本发明能够批量的对Hive分区进行修复，有效地提高了Hive分区的修复速度和修复效率。
一种 hive 修复方法装置设备计算机可读存储介质

[发明专利]一种关系型数据库的数据全量导入Hive的方法-CN202011551010.6在审
发明人：陈娟妮;肖雪;李国涛 -专利权人：浪潮云信息技术股份公司
申请日： 2020-12-24 - 公布日： 2021-04-13 - 主分类号： G06F16/22 文献下载
摘要：本发明公开一种关系型数据库的数据全量导入Hive的方法，涉及数据转换技术领域；采用string字段类型创建Hive中间表，将关系型数据库的数据导入Hive中间表，根据关系型数据库的数据表字段类型，将关系型数据库的表字段类型映射为Hive目标表的字段类型，创建Hive目标表，采用HiveSQL将Hive中间表的数据导入Hive目标表，基于Hive目标表进行数据分析。
一种关系数据库数据导入 hive 方法

[发明专利]Hive数据表的更新方法、装置、计算机设备以及存储介质-CN202210672300.9在审
发明人：杨良志;白琳;汪志新;周光辉;杨建森 -专利权人：彩讯科技股份有限公司
申请日： 2022-06-14 - 公布日： 2022-09-09 - 主分类号： G06F16/23 文献下载
摘要：本发明公开了一种Hive数据表的更新方法、装置、计算机设备以及存储介质。该方法包括：检测到Hive数据表更新请求时，根据Hive数据表更新请求确定目标主键、标记类型和标记时间；其中，Hive数据表包括标记类型字段和标记时间字段；标记类型与Hive数据表更新请求的类型相匹配；根据目标主键、标记类型和标记时间，生成Hive数据表更新记录；根据Hive数据表更新记录，对Hive数据表进行更新。使用本发明的技术方案，可以实现提高Hive数据表的更新效率。
hive 数据表更新方法装置计算机设备以及存储介质

[发明专利]HIVE库的扩容方法以及装置、处理器和电子设备-CN202310197006.1在审
发明人：王淼 -专利权人：中国邮政储蓄银行股份有限公司
申请日： 2023-02-28 - 公布日： 2023-06-02 - 主分类号： G06F16/22 文献下载
摘要：本申请提供了一种HIVE库的扩容方法以及装置、处理器和电子设备，通过获取SQL文件，并解析SQL文件，得到SQL文件中包含的HIVE SQL作业对应的当前作业参数组，当前作业参数组至少包括以下参数：HIVE SQL作业对应的当前SQL操作、HIVE SQL作业对应的当前作业名、HIVE SQL作业当前对应的HIVE库表的表名、HIVE库表的当前容量大小以及HIVE SQL作业对应的当前源数据量；控制每个HIVE SQL作业对应的作业参数组输入至预设机器学习模型中，以得到每个HIVE库表的空间增量；依据空间增量，对与空间增量对应的HIVE库表进行扩容操作，解决了现有技术中大数据平台中采用的人工申请扩容审批的方式存在扩容方案时效性差
hive 扩容方法以及装置处理器电子设备

[发明专利]基于大数据平台的HIVE任务调度方法、装置、设备及存储介质-CN201910208508.3有效
发明人：王睿之 -专利权人：深圳壹账通智能科技有限公司
申请日： 2019-03-19 - 公布日： 2022-08-02 - 主分类号： G06F16/28 文献下载
摘要：本发明公开了一种基于大数据平台的HIVE任务调度方法、装置、设备及存储介质。该方法包括：获取客户端发送的原始HIVE任务，基于原始HIVE任务中的启动文件触发日志程序，获取任务日志表；从待处理HIVE任务中获取目标HIVE任务；采用配置文件读取工具读取目标HIVE任务中的配置文件；若读取成功，则获取目标HIVE任务中的配置文件包含的前置任务标识和自身任务标识；若前置任务日志中携带与前置任务标识相对应的任务完成标签，则前置任务标识对应的前置HIVE任务成功完成，执行目标HIVE任务中的业务文件；若业务文件执行成功，则生成任务完成标签，将任务完成标签与自身任务标识关联存储到与目标HIVE任务相对应的目标任务日志中。该方法可提高HIVE任务执行的效率。
基于数据平台 hive 任务调度方法装置设备存储介质

[发明专利]一种Hive调度方法及装置-CN201510121497.7在审
发明人：王文文;刘桂海;宋丽丽 -专利权人：浪潮集团有限公司
申请日： 2015-03-19 - 公布日： 2015-06-24 - 主分类号： G06F17/30 文献下载
摘要：本发明提供了一种Hive调度方法及装置，该方法包括：预先创建用于实现Quartz中的org.quartz.Job接口的HiveJob Java类；创建至少一个Hive程序；确定每个所述Hive程序的执行时间；根据每个所述Hive程序的执行时间，建立Hive程序与所述执行时间的关联关系；根据所述关联关系，通过Quartz中的调度程序调用HiveJob中的执行方法，执行当前的执行时间对应的Hive程序。通过本发明提供的一种Hive调度方法及装置，能够降低对Hive操作的复杂度。
一种 hive 调度方法装置

[发明专利]一种基于Sqoop的多版本Hive支持方法、装置、设备及介质-CN202011544392.X在审
发明人：陶钰昕;秦正;孙俊逸 -专利权人：北京浪潮数据技术有限公司
申请日： 2020-12-23 - 公布日： 2021-04-06 - 主分类号： G06F16/25 文献下载
摘要：本申请公开了一种基于Sqoop的多版本Hive支持方法、装置、设备及介质，包括：从第一Sqoop命令中提取Hive命令参数；其中，所述第一Sqoop命令为导入数据到Hive的Sqoop命令；基于所述Hive命令参数以及Sqoop配置文件，确定待连接的Hive版本所依赖的Hadoop版本对应的Hadoop参数；基于所述Hive命令参数以及所述Hadoop参数，确定待连接的所述Hive版本对应的第一MapReduce这样，能够使Sqoop支持多版本Hive。
一种基于 sqoop 版本 hive 支持方法装置设备介质

[发明专利]数据处理方法、装置、电子设备及存储介质-CN202310191747.9在审
发明人：田闯;潘丹;赵辉 -专利权人：度小满科技（北京）有限公司
申请日： 2023-02-24 - 公布日： 2023-05-23 - 主分类号： G06F16/21 文献下载
摘要：本申请提供了一种数据处理方法、装置、电子设备及存储介质，方法包括响应于版本升级指令，停止第一Hive MetaStore服务，其中，第一Hive MetaStore服务链接至第一Meta数据库，以用于对第一Meta数据库中的元数据进行管理；根据预设升级信息，将第一Meta数据库升级至第二Meta数据库；将第一Hive MetaStore服务链接至第二Meta数据库，以使第一Hive MetaStore服务能够对第二Meta数据库中的元数据进行管理；启用第一Hive MetaStore服务和第二Hive MetaStore服务，第二Hive MetaStore服务用于对第二Meta数据库中的元数据进行管理，从而使得Hive升级后，用户在第一Hive MetaStore服务和第二Hive MetaStore服务并跑期间所产生的元数据的修改都可以存储在第二Meta数据库中，当任务在任一Hive MetaStore服务，所产生的数据结果都可以在另外一个Hive MetaStore服务中查询到，实现了数据的同步。
数据处理方法装置电子设备存储介质

[发明专利]获取中文数据库结构的方法及装置-CN201910293497.3在审
发明人：张永飞;廖伟;杨尧;王诗强 -专利权人：成都四方伟业软件股份有限公司
申请日： 2019-04-12 - 公布日： 2019-07-09 - 主分类号： G06F16/21 文献下载
摘要：本申请公开了获取中文数据库结构的方法及装置，应用于计算机设备，所述方法包括：获取当前被使用数据库的hive源码，将hive源码中涉及字符获取的部分进行修改，得到能够对中文字符进行识别、获取的目标hive将目标hive源码进行编译后得到能够对中文字符进行处理的目标hive文件包。将目标hive文件包上传并覆盖原本的不能处理中文字符的hive文件包，重启数据库的hive服务，得到能够识别显示中文的中文数据库结构。采用本申请提供的获取中文数据库结构的方法，能够在基于hive搭建的数据库中使用中文，提高了数据库的使用效率。
数据库结构源码中文中文字符数据库文件包计算机设备使用效率字符获取上传重启申请编译覆盖应用服务

[发明专利]Hive表一致性校验方法、系统、设备及存储介质-CN201811488422.2在审
发明人：安金龙;刘业辉;张宁;王彦明;高相斌;张增;李晨;张再 -专利权人：北京沃东天骏信息技术有限公司
申请日： 2018-12-06 - 公布日： 2020-06-16 - 主分类号： G06F16/28 文献下载
摘要：本发明提供了一种Hive表一致性校验方法、系统、设备及存储介质，所述方法包括：获取Hive表的元数据；解析所述元数据，得到Hive表的第一文件格式和文件存储位置；根据所述文件存储位置确定存储在HDFS中的对应文件的第二文件格式；判断同一Hive表对应的第一文件格式和第二文件格式是否一致；如果不一致，则记录当前Hive表的信息。本发明对Hive表的元数据和数据文件格式的一致性进行校验，从而发现存在问题的Hive表，提高了Hive数据仓库的健康度和数据质量，同时也能有效地避免对Hive数据表的误操作导致数据不可用的问题。
hive 一致性校验方法系统设备存储介质

[发明专利]一种hive离线同步校验方法、装置及电子设备-CN201910930903.2有效
发明人：黄建庭;宋荣鑫;刘建敏;黄龙 -专利权人：北京淇瑀信息科技有限公司
申请日： 2019-09-29 - 公布日： 2023-09-26 - 主分类号： G06F16/23 文献下载
摘要：本发明公开了一种hive离线同步校验方法、装置及电子设备，所述方法包括：分别获取hive表的增量流水数据表和增量数据表；根据所述增量流水数据表和增量数据表对hive同步业务库数据进行校验。本发明的hive离线同步校验方法，根据增量流水数据表和增量数据表对hive同步业务库数据进行校验，从校验机制上保证hive数据仓库的数据质量，能有效防止hive离线同步过程中数据的丢失，达到金融业对数据一致性的要求
一种 hive 离线同步校验方法装置电子设备

[发明专利]流式数据存储方法及装置-CN202010781565.3在审
发明人：朱阿龙;田林;石慧彪;王博瑞 -专利权人：中国银行股份有限公司
申请日： 2020-08-06 - 公布日： 2020-10-30 - 主分类号： G06F16/22 文献下载
摘要：本发明公开了一种流式数据存储方法及装置，该流式数据存储方法包括：获取Hive数据库表的分区信息；接收流式数据处理引擎传入的流式数据；判断Hive数据库表的分区信息是否包含接收到的流式数据的分区信息；在Hive数据库表的分区信息不包含接收到的流式数据的分区信息时，创建新的Hive分区；将接收到的流式数据存储至新的Hive分区对应的HDFS文件中。本发明在Hive数据库表的分区信息不包含接收到的流式数据的分区信息时，通过创建新的Hive分区，将接收到的流式数据存储至新的Hive分区对应的HDFS文件中，能够提高流式数据存储的稳定性，同时保障流式数据的实时性
数据存储方法装置

[发明专利]一种同步Hive数据的方法、系统、电子设备及存储介质-CN202011370159.4在审
发明人：汪月;刘建辉;李亚飞;乔智;孙军锋 -专利权人：北京明略昭辉科技有限公司
申请日： 2020-11-30 - 公布日： 2021-02-23 - 主分类号： G06F16/22 文献下载
摘要：本申请公开了一种同步Hive数据的方法、系统、电子设备及存储介质。一种同步Hive数据的方法包括：监控步骤：hive hooks监控hive的运行日志；数据检测步骤：所述运行日志写入到中间表中，使Impala轮询所述中间表，并进行相应的刷新操作。本发明提出一种同步Hive数据的方法、系统、电子设备及存储介质，监控hive作业的运行日志，相应的对数据进行操作的日志抓取出来，写入中间表，然后让Impala轮询这张中间表，进行相应的刷新操作。整个过程就是，我们帮Impala检测出hive的数据处理，然后通知Impala做相应的刷新。解决了Impala和hive元数据无法实时同步的问题，无须手动刷新，实现自动化实时同步元数据。
一种同步 hive 数据方法系统电子设备存储介质

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
下一页»
尾页
共 704 条